Ngô Ngạn Tổ sinh ra tại Berkeley, California và lớn lên ở Orinda, California.[3] Ngô đã bắt đầu yêu thích võ thuật, khi thấy Jet Li trong bộ phim The Shaolin Temple [1] và vì thế anh bắt đầu học môn võ wushu khi mới 11 tuổi.[4] Thần tượng thuở nhỏ của anh là Jackie Chan,[5] người mà sau này xem Ngô như con trai của mình.[6] Ngô học tại trường trung học Head-Royce School ở Oakland, California[7], sau đó anh theo học chuyên ngành kiến trúc tại trường đại học Orgeon. Cũng tại đó, anh đã lập ra câu lạc bộ Wushu của trường đại học Orgeon vào năm 1994 và đồng thời cũng là huấn luyện viên đầu tiên của đội.[8] Trong thời gian đó, Ngô cũng tham gia các lớp học về điện ảnh, và thường xuyên đến các sân khấu của địa phương để xem các nhà làm phim như Akira Kurosawa và Luc Besson làm việc[1]. Năm 1997, sau khi tốt nghiệp, Ngô đi du lịch đến Hồng Kông để chứng kiến lễ trao trả Hồng Kông về Trung Quốc, anh cũng không hề có ý định theo đuổi sự nghiệp diễn xuất. Anh trở thành người mẫu từ lời gợi ý của chị anh.[5][9] Bốn tháng sau, nữ đạo diễn Yonfan đã mời Ngô đóng vai chính trong bộ phim điện ảnh của bà khi tình cờ thấy anh trong một mẩu quảng cáo quần áo trên đường phố Hồng Kông.[1][10]